Sau đó ông được bổ nhiệm Phó Giám đốc rồi Giám đốc Công an Thành phố Hồ Chí Minh (1984-1987) với cấp hàm Thiếu tướng. Năm 1986 ông được bầu làm Ủy viên Ban chấp hành Trung ương Đảng tại Đại hội Đảng VI khi mới 43 tuổi.

Năm 1987, ông được bổ nhiệm làm Thứ trưởng Bộ Nội vụ (Bộ Công an hiện nay) phụ trách an ninh, năm 1988 ông được phong cấp hàm Trung tướng.[3]

Vụ án "Năm Châu – Sáu Sứ"

Theo lời nhà báo Huy Đức, trong quyển 2 ""Bên thắng cuộc", tên vụ án là tên của 2 nhân vật đã vu khống Tướng Võ Nguyên Giáp và Tướng Trần Văn Trà cấu kết cùng người khác để "có âm mưu đảo chính" hồi năm 1991. Theo đó, đây là một vụ án do Tổng cục Tình báo Quân đội, hay Tổng cục 2, dựng lên với sự tham gia của Tướng Lê Đức Anh và sự bao che của Tướng Đoàn Khuê và các lãnh đạo trong đó có Chủ tịch Hội đồng Nhà nước Võ Chí Công và Nguyễn Đức Tâm, người phụ trách nhân sự trong Đảng lúc bấy giờ. Trung tướng Võ Viết Thanh, khi đó là Thứ trưởng Bộ Nội vụ đã không nghe theo lời khuyên của cấp trên và điều tra ra vụ dàn dựng nhằm vu cáo vị Đại tướng. Hậu quả trực tiếp là ông không được cho vào danh sách tái cử vào Trung ương khoá VII.[4]